arxiv：2402.17644v2 [CS.CL] 2024年6月9日__

arxiv：2402.17644v2 [CS.CL] 2024年6月9日

可下载资源数量

已经购买

下载数量：1

单价	0 2.0
Coupon	100% 0%
Total	0 2.0

点击下载点击购买并下载

点击购买，资源将自动在新窗口打开.

机构名称：

arxiv：2402.17644v2 [CS.CL] 2024年6月9日

¥ 2.0

热度

定量推理是对数据数据的关键技能，但是对此类问题的评估仍然有限。为了解决这一差距，我们介绍了使用数据（QRD ATA）基准的定量推理，旨在评估大语言模型在具有现实世界数据的基础和因果推理方面的能力。基准包括一个精心结构的数据集，其中包含411个问题，并附有教科书，在线学习材料和学术论文的数据表。为了比较模型在数据和文本上的定量推理能力，我们用290个仅文本问题的辅助设置（即QRT ext）进行了辅助集。我们评估了自然语言原因，基于程序的推理以及制定的方法，包括对不同模型的三个三通，思想计划，反应和代码助理的助手。最强的GPT-4型号的精度为58％，这有很大的改进空间。在开源模型中，DeepSeek-Codor-Instruct（在2T代币上预估计的代码LLM）的精度最高37％。分析表明，模型在数据分析和因果推理中遇到困难，并在使用因果知识方面陷入困境，并同时提供数据。代码和数据在https://github.com/xxxiaol/qrdata中。

添加pdf代下载 VIP点击下载文件